查看原文
其他

将AI算法模型作为资产交易!京东科技是如何做的?(上篇)

黄绿君 京东科技技术说 2022-06-25

作者:黄绿君

京东科技视觉算法团队原创,转载请获得授权


一、AI算法模型交易平台的提出背景
随着社会发展进入数字经济与实体经济融合发展的关键时期,人工智能正日益成为驱动产业转型发展的核心引擎。近年来,在人工智能相关政策和先进技术的双重推动下,各大企业及资本纷纷加大布局人工智能产业的力度,使得AI领域的人才需求井喷,而AI人才的培育相对滞后。企业、个人面临以下痛点:
1、企业需快速构建多场景AI模型以满足业务发展,需大量具备AI专业知识的人才,而大量雇佣合适AI人才困难、成本高昂,且不一定是能够很好解决特定问题的专家,导致AI产品落地慢,难以满足敏捷化业务需求。
2、当前企业“一对一”雇佣模式,即专业人才受雇于某个公司并全职投入,阻碍了在特定方向有技术专长和丰富经验的人才充分复用其专业技能和经验为多个公司解决类似问题,使得AI专业人才投入较多时间产出的AI算法模型仅为解决单个业务具体问题,复用范围和次数受限。

二、当前AI算法模型共享遇到的问题
为解决上述痛点问题,业界探索和尝试了以下技术方法,但仍存在一些问题:
1、将AI算法模型开发过程中的常用基础技术、方法抽象化和组件化,封装成公共的工具包,主要局限在企业内部较小规模团队和部门内部使用。
首先,抽象化和组件化AI算法模型开发过程中的常用基础技术、方法需要对大范围内的常用基础技术有充分的了解,如果缺乏规范的统一管理、协作和反馈机制,在较大范围难以推广实施,复用的范围和次数有限。
其次,AI算法模型公共的工具包无偿在企业内部使用,开发团队缺乏驱动力和反馈,难以闭环迭代升级,而公开到Github上,又会涉及知识产权保护问题。
2、将开发好的AI算法模型封装、部署为在线服务API接口或小程序,按调用次数或使用时长等计费方式提供服务。
(1)这只是AI算法模型复用的一种形式,需求方可能存在将AI算法模型私有化部署、结合自己的数据继续训练更新模型、批量离线部署等多种形式。
(2)这往往是一种单向服务,即只是AI算法模型团队主动的将自己的算法模型服务展示出去,功能单一,难以收集市场真实需求,不能充分满足市场需求,也不方便需求方找到适合自己的AI算法模型或服务。
(3)目前一般仅限于单个企业将自己的AI算法模型通过在线服务API接口或小程序的形式在企业网站上或公有云上展示,未能有效管理单个企业范围之外的需求的提出、难以产生规模效应,连接需求方和供给方的能力较弱,推广的范围和复用的次数受限,而且大部分沟通、交易环节需转移至线下人工处理,效率低、运营成本高。
3、基于某个场景中AI算法模型和相关的数据基础,计算出结果,将结果用于可能的多个下游任务的方式一般只适用于企业内部,因为对外提供数据涉及数据安全问题,使用范围严重受限。

三、AI算法模型交易平台的构建思路

本文提出一种有效连接AI算法模型供给方和需求方的AI算法模型交易平台,将AI算法模型作为一种资产进行交易。

1、通过AI算法模型交易市场与一站式AI服务平台结合的方式,为算法模型的开发、训练、部署提供基础环境,同时需求方在购买算法模型商品之前也可基于AI服务平台进行算法模型推理效果和运行性能的测试、验证。

2、通过将AI服务商或个人将AI算法模型SDK、AI算法模型API、AI解决方案发布至AI交易市场、进行展示/推荐,撮合与需求方的连接、交易,使AI算法模型最大限度复用;

3、通过将对AI算法模型SDK、AI算法模型API、AI解决方案的多维度分类和管理查询或需求发布和模型推荐的方式,使需求方更便捷的找到适合自己的AI算法模型。

4、通过对需求广场上发布的AI算法模型需求和交易市场上的历史成交情况,分析AI算法模型的需求热点趋势、算法模型的效果性能及算法模型商品的定价情况,为AI模型服务商和个人提供方向指导。


四、AI算法模型交易平台的架构设计

本文提出了一种有效连接AI算法模型供给方和需求方的AI模型交易平台的完整技术方案。一方面,便于更多的AI模型服务商或个人开发者将AI算法模型售卖给更多用户;另一方面,便于更多有业务需求的客户,在市场中找到解决自己业务问题的AI算法模型或解决方案。

AI模型交易平台架构设计图如下所示:


图1 AI模型交易平台架构示意图

该平台包含的各功能模块的设计以及模块之间相互协作关系如下文所述:

1、AI平台:指为AI算法模型服务商或个人开发者提供从模型开发、训练到部署、监控的一站式服务,提供数据管理、模型训练、自动学习、模型服务、模型监控、模型管理、协作共享和资源管理等功能模块,帮助用户快速构建、部署模型,并实现AI工作流全生命周期管理的基础平台,是AI算法模型交易平台的基础。

2、AI模型交易平台:指将卖家发布的AI算法模型SDK、AI算法模型API、AI解决方案等智能商品进行多维度分类管理、搜索展示,连接AI算法模型和解决方案的供、需双方,撮合AI算法模型SDK、AI算法模型API、AI解决方案等智能商品交易以及并提供相应的AI算法模型发布/需求分析、推荐匹配和订单管理、结算管理等功能的平台。AI算法模型交易平台示意图如图2所示。平台上的用户角色分为游客、买家、卖家3种。游客无需注册、登陆即可浏览AI算法模型交易市场的商品,买家、卖家需要注册、登陆AI算法模型交易市场方可发布或订购AI模型。

(1)模型供给方以卖家身份入驻AI算法模型交易平台后,可以按资源需求计费的方式申请访问后台的AI平台,借助AI平台提供的数据管理、模型训练、自动学习、模型服务、模型监控、模型管理、协作共享和资源管理等功能模块,构建解决特定问题的AI算法模型或解决方案,然后将AI算法模型或解决方案相关信息以商品的形式发布到AI算法模型交易市场。

(2)有AI算法模型需求方以买家身份入驻AI模型交易平台后,① 可以将感兴趣的AI算法模型基于AI平台进行测试,以验证AI算法模型的真实效果,作为是否下单购买的判断依据;② 将在AI算法模型交易平台购买的AI算法模型在AI平台上进行部署上线,为自己的具体业务提供AI算法模型的API接口。

图2 AI算法模型交易市场示意图

五、交易平台上AI算法模型来源
1、面向个人开发者的AI算法模型发布、授权
为使个人开发者的AI算法模型最大限度复用,本文提出将AI算法模型作为一种商品进行交易的技术方法。AI算法模型开发者个人可采用图3流程示意图中部分或全部流程将AI算法模型发布至交易市场。主要流程如下所述:

(1)AI算法模型开发者注册、登陆AI模型交易市场后,通过浏览需求方在需求广场上发布的AI算法模型需求,领取符合自己专业技能的需求任务。

(2)AI算法模型个人开发者按资源需求计费的方式申请访问后台的AI平台,借助AI平台提供的数据管理、模型训练、自动学习、模型服务、模型监控、模型管理、协作共享和资源管理等功能模块,进行AI算法模型的开发训练和测试评估,并将训练好的模型及模型的元数据信息存储至模型仓库。AI平台的模型管理模块对模型仓库中的模型进行统一的版本管理、溯源管理、模型元数据管理及模型的浏览、查询、对比等功能。

(3)当AI算法模型个人开发者期望将自己的模型发布至交易市场进行交易时,可采取以下3种方式进行发布,并声明计费方式:免费或付费(一次性付费、按使用时长计费、按调用次数计费等):

① 算法模型SDK。包括解决某类问题的算法模型、模型元数据信息(模型功能、模型评估的效果性能、使用方法、模型运行依赖的软硬件环境等)的描述,可在AI平台对算法模型进行小批量的性能效果预测和评估,买方下单订购、卖方授权后可在AI平台上一键部署或私有化部署。

② 算法模型API。指部署在AI平台上的算法模型在线服务API接口,包括模型元数据信息(模型功能、模型评估的效果性能、使用方法、模型运行依赖的软硬件环境等)的描述。可对算法模型API接口进行小批量的性能效果预测和评估。

③ 完整AI解决方案。指集成了一个或多个AI算法模型,并包含数据采集、处理、存储和可直接部署的面向最终用户使用的系统产品,是一个解决具体场景问题的整体解决方案。

(4)根据上一步描述的不同发布形式及对应的授权方式,AI算法模型个人开发者将AI算法模型授权、交付给第(1)步领取需求任务对应的需求方或自主从AI交易市场采购的需求方;基于交易市场中的订单管理和计算管理功能,需求方按照算法模型发布时约定的计费方式与AI算法模型个人开发者进行结算。

图3 面向个人开发者的算法模型发布至交易市场的流程示意图

2、面向AI服务商的AI算法模型发布、授权和虚拟团队管理
除了个人开发者可以将自己的AI算法模型发布至交易市场进行交易,每个开发者也可以组建虚拟团队,以AI服务商的身份发布、管理和运营AI算法模型商品。面向AI服务商的AI算法模型发布至交易市场的流程示意图如图4所示。主要的流程与面向个人开发者的算法模型发布至交易市场的流程类似,主要区别在于虚拟团队的组建和团队收益分配。主要流程如下所述:
(1)AI算法模型开发者注册、登陆AI模型交易市场后,通过卖家中心的团队管理功能模块从AI算法模型交易市场开发者队伍中双向选择共同组建虚拟团队,虚拟团队可按团队成员擅长的技能进行角色分配,以团队协作的形式优势互补,提升团队整体力量。虚拟团队可浏览需求方在需求广场上发布的AI算法模型需求,领取符合团队专业技能的需求任务。
(2)AI算法模型团队构建自己的算法模型商品可采用以下两种方式:
① 自主从头开发。按资源需求计费的方式申请访问后台的AI平台,借助AI平台提供的数据管理、模型训练、自动学习、模型服务、模型监控、模型管理、协作共享和资源管理等功能模块,进行AI算法模型的开发训练和测试评估,并将训练好的模型及模型的元数据信息存储至模型仓库。AI平台的模型管理模块对模型仓库中的模型进行统一的版本管理、溯源管理、模型元数据管理及模型的浏览、查询、对比等功能。
② 二次包装。根据团队的领域定位直接从AI算法模型交易市场采购算法模型进行二次包装,而不是完全自主从头研发。
(3)当AI算法模型团队期望将团队的模型发布至交易市场进行交易时,可采取以下3种方式进行发布,并声明计费方式:免费或付费(一次性付费、按使用时长计费、按调用次数计费等):
① 算法模型SDK。包括解决某类问题的算法模型、模型元数据信息(模型功能、模型评估的效果性能、使用方法、模型运行依赖的软硬件环境等)的描述,可在AI平台对算法模型进行小批量的性能效果预测和评估,买方下单订购、卖方授权后可在AI平台上一键部署或私有化部署。
② 算法模型API。指部署在AI平台上的算法模型在线服务API接口,包括模型元数据信息(模型功能、模型评估的效果性能、使用方法、模型运行依赖的软硬件环境等)的描述。可对算法模型API接口进行小批量的性能效果预测和评估。
③ 完整AI解决方案。指集成了一个或多个AI算法模型,并包含数据采集、处理、存储和可直接部署的面向最终用户使用的系统产品,是一个解决具体场景问题的整体解决方案
AI算法模型团队亦可根据需要分配专门的运营人员对团队发布的算法模型商品进行专业的运营。

(4)根据上一步描述的不同发布形式及对应的授权方式,AI算法模型团队将AI算法模型授权、交付给第(1)步领取需求任务对应的需求方或自主从AI交易市场采购的需求方;基于交易市场中的订单管理和计算管理功能,需求方按照算法模型发布时约定的计费方式与AI算法模型团队进行结算。然后,团队成员之间根据约定的收益分配方式进行收益分配。


图4 面向AI服务商的AI算法模型发布至交易市场的流程示意图
六、小结
本文分析了AI算法模型交易平台的提出背景和AI算法模型共享、交易存在的问题,并提出了AI算法模型交易平台建设的基本思路和总体架构。同时,介绍了交易平台上AI算法模型的供给来源,详细阐述了个人开发者和AI服务商在交易平台上发布、授权AI算法模型的核心流程和技术方法。
在接下来的文章《将AI算法模型作为资产交易!京东科技是如何做的?(下篇)》中,作者将从AI算法模型需求方的角度介绍交易平台上的AI算法模型的应用流程,并提出通过对交易市场上供给、需求数据的分析,将需求方发布的需求与具备相应专业技能的人才/团队进行匹配推荐技术方法。敬请期待···

往期好文推荐:
>  京东金融App崩溃治理实践
>  活动可视化怎么做?看京东乐高架构设计
>  京东科技Redis跨数据中心双向同步优化实践
>  轻量级工作流引擎的设计与实现


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存